Understanding Evolution Strategies for LLM Reasoning: Broader Reasoning Coverage than GRPO
理解 LLM 推理中的进化策略：比 GRPO 更广的推理覆盖
🧭 LLM 推理后训练 · 进化策略 ★ 深度解读
Southern University of Science and Technology · National University of Singapore · Huawei Noah's Ark Lab · City University of Hong Kong · Harbin Institute of Technology, Weihai
系统分析 ES 与 GRPO 的推理后训练行为，发现 ES 保持更广推理覆盖、提升 Pass@K，大参数漂移不必然导致灾难性遗忘
📌 工作参考价值（4 点）
- 作为显存受限或长轨迹 Agent 微调的备选方案：ES 无需 backprop，只做前向 rollout，适合电商 Agent 长对话、多步工具调用。实现时务必对 population rewards 做 z-score 归一化，并使用 one-point estimator（两 point 在 regenerated reasoning rewards 上无增益），可节省一半前向成本。
- 若业务目标需要候选多样性（搜索推荐中的 query 建议、生成式推荐的多个 item 候选、push 文案多版本），考虑 ES 或 ES→GRPO 顺序训练：ES 保持探索，避免 entropy collapse，提升 Pass@K/覆盖率；再用 GRPO 强化单点准确率。已证明顺序混合可在 Pass@1 和 Pass@K 之间扩展 Pareto 前沿。
- 超参数 scaling：大模型（1.5B/3B）ES 用 N=16 即可接近 N=64 的效果，0.5B 需 N=32，说明模型越大所需扰动方向越少。业务上可先用小规模扫描 population size，以降低评估成本。
- 参数 drift 大不等于遗忘：ES 更新幅度远大于 GRPO（40 倍以上），但 held-out 性能保持甚至更好，主要更新集中在 LayerNorm 和 attention。持续学习场景下，可监控 held-out 任务，不必过度担心 drift。